مردى خداشناس و ديندار ، نسبت عدم تزوّج به او يك دروغ بىمحتواست كه براى او ساخته و پرداخته‌اند ، حافظ ازدواج نموده و ثمرهء اين ازدواج فرزندانى است كه در جوانى از دست مىدهد . دلا ديدى كه آن فرزانه فرزند * چه ديد اندر خم اين طاق رنگين به جاى لوح سيمين در كنارش * فلك بر سر نهادش لوح سنگين عده‌اى مىگويند ، حافظ همسر اختيار نكرده و شعر فوق را در مرگ امير على سهل سروده است ، و به علت علاقه‌اى كه به او داشته و چون وى خطى خوش داشته ، حافظ لوح سيمين را به كار برده است ولى اين نظريه مقبول نيست زيرا وى در جاى ديگر فرمايد : قرة العين من آن ميوهء دل يادش باد * كه چه آسان بشد و كار مرا مشكل كرد حافظ از اينكه فرزند دلبندش را بر اثر عدم توجه يا بىمبالاتى يا نبودن وسايل و امكانات و . . . از دست داده است ، خود را بسيار ملامت مىكند ، كلمات : لولى سرمست - شاخ نرگس - شاخ نوبهار و شاخ نبات ، مظهر زيبايى ، شيرينى ، انس ، الفت و گرمى اين همسر فداكار بوده است كه براى او نه تنها سه فرزند به جهان آورده ، بلكه در دنياى پرآشوب آن زمان مهرورز و مؤمن و يار حافظ بوده است كه يكى از آنها شاه نعمان است كه در سن 59 سالگى در برهان‌پور نزديك قلعه اسير در هند مدفون است و پسر ديگرش در شيراز وفات يافت و دخترش تا پايان عمر حافظ زنده بوده است . حافظ در زمان حيات خود غزلياتش را در دفترى مىنگاشته ، اما هيچ‌گاه درصدد برنيامد كه ديوان خود را تدوين و تنظيم كند ، بهتر است اين مطلب را از زبان نويسندهء معاصر او شهروند و مريد و دوست حافظ يعنى شمس الدين محمد گلندام كه اشعار وى را جمع‌آورى و مدون ساخت ، بخوانيد : « . . . حافظ محافظت درس قرآن و ملازمت شغل تعليم سلطان و تحشيه كشاف و مفتاح و مطالعهء مطالع و مصابح و تحصين قوانين ادب و تحسين دواوين عرب از جمع اشتات غزلياتش مانع آمدى و از تدوين و اثبات ابياتش واضع گشتى . . . مسود اين ورق ، عفا الله ما سبق ، اقل انام محمد گلندام در درس‌گاه دين‌پناه مولانا و سيدنا ، استاد البشر ، قوام الملة و الدين عبد الله ، اعلى الله سبحانه درجاته فى عليين - به كرات و مرات كه به مذاكره رفتى و در اثناى محاوره گفتى كه اين قول پرفوايد را همه در يك عقد مىبايد كشيد و اين غرر درر را در يك سلك مىبايد پيوست تا قلاده جيد وجود اهل روزگار و زمان گردد و تميمهء وشاح عروسان دوران شود و آن جناب حوالت دفع و منع آن به ناپروايى روزگار كردى و نقض و عذر اهل عصر آوردى تا در تاريخ سنه احدى و تسعين و سبعمائة وديعت حيات به موكلان قضا و قدر سپرد و رخت وجود از دهليز تنگ اجل بيرون برد و روان پاكش با ساكنان عالم علوى قرين شد . . . » محمد گلندام اندكى پس از وفات حافظ ، آثار خواجه را براساس حروف تهجى قوافى ، ترتيب داد و جمع‌آورى كرد و اين كار را با امانت و دقت انجام داد .